AI023
Giới thiệu về lập trình Triton
Phép nhân ma trận và tích hợp toán tử cho mô hình ngôn ngữ lớn (LLM)
Mục tiêu học tập
- Phân tích độ đậm đặc tính toán và giới hạn hiệu suất của GEMM trong các mô hình Transformer
- Xác định các thao tác bị giới hạn bởi bộ nhớ so với các thao tác bị giới hạn bởi tính toán trong các khối Transformer
- Đánh giá các chiến lược tích hợp toán tử nhằm giảm thiểu chi phí truy cập bộ nhớ toàn cục
- Khảo sát các mẫu triển khai để tích hợp các lớp kích hoạt, chuẩn hóa và chú ý